• Vezető: Dr. Zsedrovits Tamás
  • Tagok: Nawar Al-Hemeary, Daubner Lóránt
  • A UAV Vision Labor célja a pilóta nélküli repülőgépek és a gépi látás területének metszetében lévő témák kutatása. A pilóta nélküli repülők esetén a kutatás során megkerülhetetlen kérdés, hogy hogyan tudjuk az adott feladat megoldásához szükséges számításokat a lehető legkisebb fogyasztással, és lehetőleg kisméretű és elérhető árú eszközökkel megoldani.
  • Az egyik fő téma a kamera alapú ütközés elkerülés, mely során egy vagy több kamera felvételén szeretnénk detektálni és követni távoli repülőgépeket. A minél jobb detekció és követés mellett az is cél, hogy minél kisebb fogyasztással és mérettel rendelkezzen az ütközés elkerülő rendszer, hiszen a repülő fedélzetén kell végezni a számításokat, valós időben.
  • Egy másik kutatott terület a repülők ergonomikus irányítása, ahol olyan irányítási módszereket szeretnénk kidolgozni, melyekkel a most elérhető lehetőségeknél természetesebben, gyorsabban tanulható módon, vagy akár pontosabban vezethetők a repülők.
  • A harmadik nagy tématerület a beltéri alkalmazások, ahol szintén a gépi látásra támaszkodunk, itt azt vizsgáljuk, hogy milyen feladatok oldhatók meg jól külső referencia rendszerek nélkül, csak a repülőn lévő szenzorokat (kamera, IMU, LiDAR, távolságmérő, egyéb) használva. Például a 3D barlang térképezés témában kamera, IMU és LiDAR segítségével szeretnénk a manapság elérhetőnél pontosabb 3D térképet készíteni barlangjáratokról, ezzel megkönnyítve új járatok feltárását, vagy segítve a barlangászokat. Ezek mellett, a hallgatók az alábbi területeken dolgoznak: szimulátor fejlesztése az ütközés elkerüléshez, ergonomikus drón irányítás, virtuális drón kerítés létrehozása, neuromorf ütközés elkerülés, vizuális beltéri navigáció, video annotációs adatbázis létrehozása.

Kísérlet egy biológiailag motivált látórendszerrel drónok autonóm akadályelkerülésére. A képen látható a drón a kijelzőpanelek közötti szabad útvonalon repül egy összetett környezetben. A rendszer a következőkből áll egy emlősök retinamodelljén alapuló előfeldolgozásból és egy U-hálóból áll a látási feladathoz. A videót rögzítik és egy DJI Tello drón közvetíti a drón vezérléséhez és kommunikációjához szükséges ROS Ubuntut futtató laptopra, és a neurális hálózatot PyTorch-alapú implementációval a laptop dedikált GPU-ján.